Trong khi đời sống xã hội bị xáo trộn vì những cuộc cải cách của nhà Tân, chiến tranh với các ngoại tộc xung quanh kéo dài nhiều năm khiến nhân dân căm phẫn vì phải đi lính thú và cung đốn quân phí. Cùng lúc đó, trong nước lại xảy ra mất mùa, hạn hán, nạn châu chấu, vỡ đê sông Hoàng Hà… khiến cho đời sống nhân dân ngày càng quẫn bách. Trong hoàn cảnh đó, khởi nghĩa binh biến chống triều đình đã nổ ra khắp nơi. Cùng với khởi nghĩa Lục Lâm, khởi nghĩa Xích Mi là một trong 2 cuộc khởi nghĩa chống nhà Tân có quy mô lớn nhất.

Sau khi các cuộc khởi nghĩa của Lã Mẫu và Lục Lâm nổ ra (năm 16 và 17), sang năm 18, hơn 100 người nghèo khổ ở Lang Nha theo Phàn Sùng khởi nghĩa ở đất Cử[2]. Do hai vùng Thanh châu, Từ châu mắc thiên tai, nhân dân đi theo Phàn Sùng rất đông. Được ít lâu, cánh quân của Phùng An và Dương Âm có vài vạn người về quy phục Phàn Sùng. Một thời gian sau, khi Lã Mẫu chết, tàn quân cũng kéo về theo Phàn Sùng. Quân Xích Mi lập căn cứ ở Thái Sơn, hoạt động ở Thái Am, Lai Vu, Phì Thành, Bình Âm, Đông A thuộc nam bắc sông Hoàng Hà.

Quân Xích Mi kế thừa cách xưng hô của quan lại địa phương nhà Hán: thủ lĩnh các cấp gọi là Tam lão, Tùng sự, Tốt lại… Những người trong quân gọi nhau là "cự nhân". Trong quân Xích Mi đặt ra giao ước kỷ luật bằng miệng: